HOPSE: Codificador Posicional y Estructural de Alto Orden Escalable
Descubre HOPSE: codificador de alto orden que escala en aprendizaje topológico, superando a métodos tradicionales.
#codificación posicional
GridPE: Codificación posicional unificada para dimensiones arbitrarias
GridPE: embedding posicional inspirado en células grid que unifica espacios multidimensionales. Supera a RoPE en tareas de visión 2D y 3D. ¡Descúbrelo!
PJ-RoPE: Espacio Fourier-Jet-Afin para Atención Relativa
PJ-RoPE unifica RoPE, Jordan-RoPE y ALiBi en un espacio aprendible. Mejora la estabilidad y la precisión en tareas de lenguaje y música.
LazyAttention: RAG Eficiente con Codificación Posicional Diferida
Descubre LazyAttention, la técnica que acelera la inferencia de LLMs en RAG con caching KV sin copias. Reduce el TTFT 1.37x y aumenta el throughput 1.40x.
Más allá de las sinusoides: Codificación posicional con wavelet Morlet
MoPE: codificación posicional con wavelet Morlet que unifica sinusoides y RoPE, aprende frecuencias y localidad. ¡Rendimiento superior en transformers!
Más allá de las sinusoides: codificación posicional con wavelets Morlet en transformers
Descubre MoPE, un nuevo marco de codificación posicional con wavelets Morlet que unifica sinusoides y RoPE, mejorando atención y rendimiento en lenguaje.
Transformers de ventana deslizante sin PE: Turing Completos
¿Sabías que los transformers sin codificación posicional pueden ser Turing completos? La clave está en la ventana deslizante. Descúbrelo.